iT邦幫忙

2022 iThome 鐵人賽

DAY 23
0

類神經網路根據資料從輸入節點至輸出節點的流向,可分為不同種類,以下列舉幾種較為常見的類型

  1. 前饋神經網路(Feed Forward)
    https://ithelp.ithome.com.tw/upload/images/20220927/2015127923YnzZG8wv.png
    圖片來源:連結
    為最早被推出的類神經網路模型架構,此架構通常帶有以下特性:
    (1) 節點完全相連,且各節點間的連結帶有權重
    (2) 激活函數從輸入層單向流向輸出層,不會有循環
    (3) 輸入層和輸出層中間會有一層或多層隱藏層(Hidden Layer)
  2. 反向傳播算法(Back Propagation)
    反向傳播算法主要為將誤差值(Loss)向回傳遞,並使用梯度下降法(Gradient Descent)對模型內的權重進行更新,進而達到降低誤差值的目的。
    https://ithelp.ithome.com.tw/upload/images/20220927/20151279x5NaKbNDI1.png
    圖片來源:連結
梯度下降法

在類神經網路中,通常會使用損失函數(Loss Function)做為模型結果好壞的依據,梯度下降法為降低損失函數的一種最佳化方法,透過每次的偏微分迭代,向梯度最大的方向前進以尋求最佳解。
https://ithelp.ithome.com.tw/upload/images/20220927/201512792EjA9ViTYY.png
圖片來源:連結

反向傳播

反向傳播主要使用微積分中的連鎖律(Chain Rule)由網路末端計算誤差與權重間的關聯性,使得類神經網路收斂速度加快。

  1. 卷積神經網路(Convolutional Neural Network)
    CNN使用卷積(Convolution)的方式,架構內有過濾器(Filter, 也可稱為卷積核Kernel)在資料內進行擷取,擷取時會以滑動窗口的形式進行,每進行一次新的擷取,過濾器便會移動一個步長(Stride)後進行擷取,產生一個特徵地圖(Feature Map)。
    https://ithelp.ithome.com.tw/upload/images/20221004/201512796IT73Q2AEs.png
    圖片來源:連結

特徵地圖全部產生後,會進行池化(Pooling),池化目的為對每個特徵地圖中的最大值、平均值的重要數值進行粹取,並進行特徵圖降維。最後一步為進入全連接層(Fully Connected Layer)進行分類,全連接層中會有激勵函數(Activation Function)對接收到的資訊進行最後的分類。激勵函數也可使用於類神經網路架構的中間層數,以增加類神經網路架構的非線性程度,下篇文會對激勵函數進行詳細的介紹。


上一篇
[Day 22] 類神經網路(Neural Network)介紹
下一篇
[Day 24] 激勵函數(Activation Function)
系列文
人類行為數據分析- 以R和Python進行實作30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言